Towards the Improvement of robot motion learning techniques

Dissertação de Mestrado em Engenharia InformáticaThis manuscript presents solutions and methods to address some of the many problems that arise when dealing with the complex task of motor skill learning in robots. In the last years, several research lines have focused on learning motion primitives either through imitation learning or reinforcement learning. However, for many applications, learning a motion primitive of a single form is not enough and it is required that after being assimilated, the primitive is generalizable such that it can be executed in different contexts and for distinct instances of the same task. Therefore, the motion primitive must adapt a set of parameters according to the environment variables instead of always executing the exact same motor commands when it is put into action. Another aspect to have into consideration is how the learning process of motion primitives is guided. Some primitives are too complex to be learned all at once, i.e, learning all their intricacies without a properly structured approach may be intractable. In this thesis, these aspects are mindfully taken into account, allowing to develop reinforcement learning techniques that are then used to teach a controller of a biped robot that is only able to generate stable locomotion on a flat surface, making it tolerant to a range of slope angles, perpendicular and/or parallel to the direction of walking. Legged locomotion is a relevant example of a complex and dynamic motor skill that has been the focus of intensive research for many years in robotics and it is expected for the techniques that are successful in the learning of such a hard task to be useful in other contexts. In order to achieve this goal, three main steps, divided into chapters of this thesis, are taken. First, an existing algorithm - Cost-regularized Kernel Regression (CrKR) - originally introduced to allow learning to generalize parameterized policies is modified and extended into a new algorithm named CrKR++. Some of the performed changes allow to use the algorithm for training sessions with a high number of samples, which is needed when it is intended to learn complex policies. This feat would be impracticable with the original version of the algorithm due to its high computational complexity. The remaining changes are issued with the purpose of improving the general effectiveness of the algorithm. Second, a framework that enables storing, combining and mutual learning of parameterized policies is presented. This framework, where the CrKR++ algorithm plays a core role, provides the means, for instance, to create a movement primitives library or to perform gradual learning of a motor skill, being named Flexible Framework for Learning (F3L). Finally, the developed framework is used to teach the controller of the biped robot to adapt its locomotion parameters according to the slope angles of the underlying surface. The achieved solution and intermediate steps are tested in simulation software with Dynamic Anthropomorphic Robot with Intelligence–Open Platform (DARwIn-OP) in carefully delineated experiments.Esta tese apresenta soluções e métodos que abordam alguns dos muitos problemas que surgem quando lidando com o complexo problema da aprendizagem de tarefas motoras em robôs. Nos últimos anos, várias linhas de investigação focaram-se na aprendizagem de primitivas de movimento, quer pela aprendizagem via imitação quer pela aprendizagem via reforço. Contudo, em muitas aplicações, não basta assimilar uma primitiva numa única forma e pode ser necessário que depois de assimilada, uma primitiva seja generalizável de maneira a ser possível executá-la em diferentes contextos e para diferentes instâncias de uma mesma tarefa. Uma primitiva de movimento deve portanto nestes casos adaptar um conjunto de parâmetros de acordo com as condições do meio envolvente em vez de executar sempre os mesmos comandos motores quando colocada em ação. Outro aspeto a ter em consideração é ainda a forma como o processo de aprendizagem das primitivas de movimento é guiado. Algumas primitivas são demasiado complexas para serem apreendidas de uma vez só, isto é, aprender todas as suas nuances sem uma abordagem estruturada pode revelar-se extremamente difícil. Nesta tese, estes dois aspetos são tidos em conta, o que permite desenvolver novas técnicas de aprendizagem via reforço que são depois usadas para ensinar um programa controlador de um robô bípede que é apenas capaz de lidar com superfícies planas, tornando-o tolerante a uma gama de inclinações em direções perpendiculares ou paralelas à direção do movimento. A locomoção com pernas é o exemplo definitivo de uma tarefa motora complexa e dinâmica que tem sido alvo de investigação intensiva durante anos na robótica. É de esperar que as técnicas que sejam bem sucedidas na aprendizagem de uma tarefa com este grau de dificuldade sejam também úteis em outros contextos. Para atingir este objetivo, três passos principais, que se dividem em capítulos desta tese são dados. Em primeiro lugar, um algoritmo já existente - CrKR - ,originalmente criado para permitir a aprendizagem de políticas parametrizadas, é modificado e transformado num novo algoritmo denominado CrKR++. Algumas das modificações feitas permitem usar o algoritmo em sessões de treino com um maior número de amostras, o que é necessário quando se pretende aprender políticas com um elevado grau de complexidade. Tal seria impossível com a versão original do algoritmo devido à sua elevada complexidade computacional. As restantes modificações são introduzidas com o propósito de melhorar a eficácia geral do algoritmo. Em segundo lugar, uma framework que permite o armazenamento, a combinação e a aprendizagem mútua de políticas parametrizadas é apresentada. Esta framework, onde o algoritmo CrKR++ desempenha uma função nuclear, providencia os meios para, por exemplo, criar uma biblioteca de primitivas de movimento ou realizar aprendizagem gradual de uma tarefa motora sendo denominada de F3L. Por fim, a framework desenvolvida é utilizada para ensinar o controlador do robô bípede a adaptar determinados parâmetros da locomoção em função da inclinação da superfície subjacente. A solução alcançada bem como os passos intermédios são testados em software de simulação com o robô DARwIn-OP em experiências cuidadosamente delineadas

Pervasive gaps in Amazonian ecological research

Biodiversity loss is one of the main challenges of our time,1,2 and attempts to address it require a clear un derstanding of how ecological communities respond to environmental change across time and space.3,4 While the increasing availability of global databases on ecological communities has advanced our knowledge of biodiversity sensitivity to environmental changes,5–7 vast areas of the tropics remain understudied.8–11 In the American tropics, Amazonia stands out as the world’s most diverse rainforest and the primary source of Neotropical biodiversity,12 but it remains among the least known forests in America and is often underrepre sented in biodiversity databases.13–15 To worsen this situation, human-induced modifications16,17 may elim inate pieces of the Amazon’s biodiversity puzzle before we can use them to understand how ecological com munities are responding. To increase generalization and applicability of biodiversity knowledge,18,19 it is thus crucial to reduce biases in ecological research, particularly in regions projected to face the most pronounced environmental changes. We integrate ecological community metadata of 7,694 sampling sites for multiple or ganism groups in a machine learning model framework to map the research probability across the Brazilian Amazonia, while identifying the region’s vulnerability to environmental change. 15%–18% of the most ne glected areas in ecological research are expected to experience severe climate or land use changes by 2050. This means that unless we take immediate action, we will not be able to establish their current status, much less monitor how it is changing and what is being lostinfo:eu-repo/semantics/publishedVersio

Pervasive gaps in Amazonian ecological research

Biodiversity loss is one of the main challenges of our time,1,2 and attempts to address it require a clear understanding of how ecological communities respond to environmental change across time and space.3,4 While the increasing availability of global databases on ecological communities has advanced our knowledge of biodiversity sensitivity to environmental changes,5,6,7 vast areas of the tropics remain understudied.8,9,10,11 In the American tropics, Amazonia stands out as the world's most diverse rainforest and the primary source of Neotropical biodiversity,12 but it remains among the least known forests in America and is often underrepresented in biodiversity databases.13,14,15 To worsen this situation, human-induced modifications16,17 may eliminate pieces of the Amazon's biodiversity puzzle before we can use them to understand how ecological communities are responding. To increase generalization and applicability of biodiversity knowledge,18,19 it is thus crucial to reduce biases in ecological research, particularly in regions projected to face the most pronounced environmental changes. We integrate ecological community metadata of 7,694 sampling sites for multiple organism groups in a machine learning model framework to map the research probability across the Brazilian Amazonia, while identifying the region's vulnerability to environmental change. 15%–18% of the most neglected areas in ecological research are expected to experience severe climate or land use changes by 2050. This means that unless we take immediate action, we will not be able to establish their current status, much less monitor how it is changing and what is being lost

Characterization, agricultural potential, and perspectives for management of light soils in Brazil

Os solos leves ocupam cerca de 8% do território brasileiro e são epecialmente expressivos na nova e na última fronteira agrícola do país: a região de Matopiba, nos estados do Maranhão, do Tocantins, do Piauí e da Bahia, onde representam 20% da área. Esses solos enquadram-se nas classes texturais areia e areia franca ou francoarenosa, até a profundidade de 0,75 m ou mais, e são representados principalmente pelos Neossolos Quartzarênicos e, em parte, por Latossolos e Argissolos. O entendimento do funcionamento desses solos depende do estabelecimento de critérios distintivos sobre: dinâmica da matéria orgânica; teor e mineralogia da fração argila; teores de areia grossa e de areia total, em relação aos de areia fina; diâmetro médio da fração areia; e capacidade de retenção de água. Esses critérios podem contribuir para o zoneamento e para o manejo conservacionista e da fertilidade dos solos leves, bem como para estimação de seu potencial agrícola. Sistemas integrados de produção, como os de integração lavoura-pecuária e lavoura-pecuária-floresta, além do plantio direto com rotação de culturas, dos plantios florestais mistos com espécies leguminosas, e do uso de adubos verdes e cultivos de cobertura, são relevantes para o manejo adequado desses solos. O objetivo deste artigo de revisão foi caracterizar os solos leves e apontar os principais desafios em relação a seu potencial agrícola, a seu manejo e conservação e sua fertilidade, frente à expansão e à consolidação da nova fronteira agrícola.Light soils occupy 8% of the Brazilian territory and are especially expressive in the new and last agricultural frontier in Brazil: the Matopiba region – in the states of Maranhão, Tocantins, Piauí, and Bahia –, where they represent 20% of the area. These soils fit into the textural classes of sand, loamy sand, and sandy loam, down to 0.75-m soil depth or deeper, and they are mainly represented by Entisols (Quartzipsamments), and partly by Oxisols and Ultisols. The understanding of soil functioning depends on the establishment of distinguishing criteria for: organic matter dynamics; content and mineralogy of the clay fraction; coarse sand and total sand contents, in relation to those of fine sand; mean diameter of the sand fraction; and water retention capacity. These criteria can contribute for the zoning and for the conservationist and fertility management of light soils, as well as for the estimation of their agricultural potential. Integrated production systems, such as, crop-livestock and crop-livestock-forestry integration, besides no-tillage with crop rotation, mixed forestry planting with legumes, and the use of green manure and cover crops, are relevant for the proper management of these soils. The objective of this review was to characterize light soils and to highlight the main challenges regarding their agricultural potential and their conservation and fertility managements, in face of the expansion and consolidation of the new Brazilian agricultural frontier

Núcleos de Ensino da Unesp: artigos 2013: volume 2: metodologias de ensino e a apropriação de conhecimento pelos alunos

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP